#精選好文
【1.2 毫秒！#NVIDIA TensorRT 8 運行 BERT-Large 推理創紀錄】
支援NVIDIA GPU平台的深度學習推理框架「TensorRT」，是可以滿足電腦視覺、自動駕駛、工業自動化、資料中心等AI運算需求的框架。
自今年 5 月 TensorRT 8-嘗鮮版發表後，NVIDIA 終於在 20 日發表 TensorRT 8 正式版。TensorRT 8正式版與以往版本相比，能在1.2毫秒內運行全球廣為採用的基於transforemer模型之一BERT-Large，即將語言查詢推理時間縮短至上一版一半，創下最新紀錄，為搜尋引擎、廣告推薦和聊天機器人的AI模型提供支援。
更多精彩內容→ https://reurl.cc/GmOL5A
#關於AI的那些事
Search